吴恩达|机器学习作业6.1.SVM建立垃圾邮件分类器

6.1.SVM建立垃圾邮件分类器

1&＃xff09;题目&＃xff1a;

如今&＃xff0c;许多电子邮件服务提供垃圾邮件过滤器&＃xff0c;能够将电子邮件精确地分类为垃圾邮件和非垃圾邮件。在本部分练习中&＃xff0c;您将使用SVM构建自己的垃圾邮件过滤器。
您将训练一个分类器来分类给定的电子邮件x是垃圾邮件(y &＃61; 1)还是非垃圾邮件(y &＃61; 0)。特别地&＃xff0c;你需要将每封电子邮件转换成一个特征向量x∈Rnx\in R^nx∈Rn。
本练习中包含的数据集是基于SpamAssassin Public Corpus&＃xff08;http://spamassassin.apache.org/old/publiccorpus/ &＃xff09;的一个子集&＃xff0c;对于本练习&＃xff0c;您将只使用电子邮件正文(不包括邮件抬头)。
数据集链接: https://pan.baidu.com/s/1cEgQIvehUcLxZ0WVhxcPuQ 提取码: xejn

2&＃xff09;大致步骤&＃xff1a;

• 邮件预处理。首先读取样例邮件查看下。然后进行预处理&＃xff1a;
  1.把整封邮件转化为小写
  2.移除所有HTML标签&＃xff08;超文本标记语言&＃xff09;
  3.将所有的URL替换为’httpaddr’
  4.将所有的地址替换为’emailaddr’
  5.将所有数字替换为’number’
  6.将所有美元符号($)替换为’dollar’
  7.将所有单词还原为词根。例如&＃xff0c;“discount”, “discounts”, “discounted” and “discounting”都替换为“discount”
  8.移除所有非文字类型&＃xff0c;所有的空格(tabs, newlines, spaces)调整为一个空格
  然后再对照单词表得到样例对应的序号列。
• 提取特征。利用序号列得到邮件的一个特征向量&＃xff0c;x∈Rnx\in R^nx∈Rn&＃xff0c;这里是一个1899维的特征向量。
• 训练SVM。取C&＃61;0.1&＃xff0c;核函数为线性核&＃xff0c;用训练集训练出模型&＃xff0c;训练精度为99.8%&＃xff0c;再在测试集上测试&＃xff0c;精度为98.9%。
• 打印权重最高的前15个词&＃xff0c;邮件中出现这些词更容易是垃圾邮件
• 用训练好的模型预测已给的四封邮件

3&＃xff09;关于Python&＃xff1a;

• .lower( )可以转化为小写。

• 邮件预处理时需要用到re模块&＃xff0c;正则表达式是由普通字符&＃xff08;例如字符 a 到 z&＃xff09;以及特殊字符&＃xff08;称为”元字符”&＃xff09;组成的文字模式。re模块中的函数让你检查一个特定的字符串是否匹配给定的正则表达式&＃xff08;或给定的正则表达式是否匹配特定的字符串&＃xff0c;这可归结为同一件事&＃xff09;。
  使用re.sub(pattern, repl, string, count&＃61;0, flags&＃61;0)
  pattern是需要被替换的部分&＃xff0c;repl为替换之后的内容&＃xff0c;string为查找的范围&＃xff0c;count表示模式匹配后替换的最大次数&＃xff0c;默认0表示替换所有的匹配。

• re.split( ) 用来分割字符串。注意在分割时候不能直接用吴恩达给出的MATLAB的代码&＃xff0c;因为有一些需要转义。

• nltk的全称是natural language tool kit&＃xff0c;是一套基于python的自然语言处理工具集。这里主要使用了词干提取的Porter提取算法。nltk.stem.PorterStemmer( )

• try和except语句块可以用来运行可能会有问题的代码。

• 在循环中不想要某些条件执行后面的代码可以用continue跳过本次循环直接进行下一次循环。

• sorted函数直接对数组进行排序&＃xff0c;np.argsort是返回排序后的坐标。

• 关于正则表达式&＃xff1a;
  字符”r“的意思是表示忽略后面的转义字符&＃xff0c;这样简化了后面正则表达式里每遇到一个转义字符还得挨个转义的麻烦&＃xff1b;[ ]里面可以用来填要匹配的字符集&＃xff1b;\是转义字符&＃xff0c;让它后面的字符还原它原有的含义&＃xff1b;*匹配前面的子表达式零次或多次&＃xff1b;&＃43;匹配前面的子表达式一次或多次&＃xff1b;$表示只在字符末尾进行匹配。。。这里引用第一个链接里的一些表格以备后用~
  更多可参考 http://www.runoob.com/regexp/regexp-syntax.html 或 https://blog.csdn.net/u010254900/article/details/22038741

4&＃xff09; 代码与结果&＃xff1a;


import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import scipy.io as scio
from sklearn import svm
import re #处理正则表达式的模块
import nltk #自然语言处理工具包&＃39;&＃39;&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;part1 邮件预处理&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;&＃39;&＃39;
#查看样例邮件
f &＃61; open(&＃39;emailSample1.txt&＃39;, &＃39;r&＃39;).read()
print(f)def processEmail(email):email &＃61; email.lower() #转化为小写email &＃61; re.sub(&＃39;<[^<>]&＃43;>&＃39;, &＃39; &＃39;, email) #移除所有HTML标签email &＃61; re.sub(&＃39;(http|https)://[^\s]*&＃39;, &＃39;httpaddr&＃39;, email) #将所有的URL替换为&＃39;httpaddr&＃39;email &＃61; re.sub(&＃39;[^\s]&＃43;&＃64;[^\s]&＃43;&＃39;, &＃39;emailaddr&＃39;, email) #将所有的地址替换为&＃39;emailaddr&＃39;email &＃61; re.sub(&＃39;\d&＃43;&＃39;, &＃39;number&＃39;, email) #将所有数字替换为&＃39;number&＃39;email &＃61; re.sub(&＃39;[$]&＃43;&＃39;, &＃39;dollar&＃39;, email) #将所有美元符号($)替换为&＃39;dollar&＃39;#将所有单词还原为词根//移除所有非文字类型&＃xff0c;空格调整stemmer &＃61; nltk.stem.PorterStemmer() #使用Porter算法tokens &＃61; re.split(&＃39;[ &＃64;$/#.-:&*&＃43;&＃61;\[\]?!()\{\},\&＃39;\">_<;%]&＃39;, email) #把邮件分割成单个的字符串,[]里面为各种分隔符tokenlist &＃61; []for token in tokens:token &＃61; re.sub(&＃39;[^a-zA-Z0-9]&＃39;, &＃39;&＃39;, token) #去掉任何非字母数字字符try: #porterStemmer有时会出现问题,因此用trytoken &＃61; stemmer.stem(token) #词根except:token &＃61; &＃39;&＃39;if len(token) < 1: continue #字符串长度小于1的不添加到tokenlist里tokenlist.append(token)return tokenlist#查看处理后的样例
processed_f &＃61; processEmail(f)
for i in processed_f:print(i, end&＃61;&＃39; &＃39;)#得到单词表&＃xff0c;序号为索引号&＃43;1
vocab_list &＃61; np.loadtxt(&＃39;vocab.txt&＃39;, dtype&＃61;&＃39;str&＃39;, usecols&＃61;1)
#得到词汇表中的序号
def word_indices(processed_f, vocab_list):indices &＃61; []for i in range(len(processed_f)):for j in range(len(vocab_list)):if processed_f[i]!&＃61;vocab_list[j]:continueindices.append(j&＃43;1)return indices#查看样例序号
f_indices &＃61; word_indices(processed_f, vocab_list)
for i in f_indices:print(i, end&＃61;&＃39; &＃39;)&＃39;&＃39;&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;part2 提取特征&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;&＃39;&＃39;
def emailFeatures(indices):features &＃61; np.zeros((1899))for each in indices:features[each-1] &＃61; 1 #若indices在对应单词表的位置上词语存在则记为1return featuressum(emailFeatures(f_indices)) #45&＃39;&＃39;&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;part3 训练SVM&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;&＃39;&＃39;
#训练模型
train &＃61; scio.loadmat(&＃39;spamTrain.mat&＃39;)
train_x &＃61; train[&＃39;X&＃39;]
train_y &＃61; train[&＃39;y&＃39;]clf &＃61; svm.SVC(C&＃61;0.1, kernel&＃61;&＃39;linear&＃39;)
clf.fit(train_x, train_y)#精度
def accuracy(clf, x, y):predict_y &＃61; clf.predict(x)m &＃61; y.sizecount &＃61; 0for i in range(m):count &＃61; count &＃43; np.abs(int(predict_y[i])-int(y[i])) #避免溢出错误得到225return 1-float(count/m) accuracy(clf, train_x, train_y) #0.99825#测试模型
test &＃61; scio.loadmat(&＃39;spamTest.mat&＃39;)
accuracy(clf, test[&＃39;Xtest&＃39;], test[&＃39;ytest&＃39;]) #0.989&＃39;&＃39;&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;part4 高权重词&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;&＃39;&＃39;
#打印权重最高的前15个词,邮件中出现这些词更容易是垃圾邮件
i &＃61; (clf.coef_).size-1
while i >1883:#返回从小到大排序的索引&＃xff0c;然后再打印print(vocab_list[np.argsort(clf.coef_).flatten()[i]], end&＃61;&＃39; &＃39;)i &＃61; i-1&＃39;&＃39;&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;part5 预测邮件&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;&＃39;&＃39;t &＃61; open(&＃39;spamSample2.txt&＃39;, &＃39;r&＃39;).read()
#预处理
processed_f &＃61; processEmail(t)
f_indices &＃61; word_indices(processed_f, vocab_list)
#特征提取
x &＃61; np.reshape(emailFeatures(f_indices), (1,1899))
#预测
clf.predict(x)

查看样例邮件

预处理后的样例&＃xff08;吴恩达给出的作业中的样例不对&＃xff0c;visitor you re 他给分为visitor your了&＃xff0c;这是由于在分割的时候是否把’ 作为分割&＃xff0c;这样会导致后面特征提取后少一个非零项&＃xff0c;即只有44项&＃xff09;

样例对应的词汇序号

训练精度和测试精度

15个权重最高的词&＃xff0c;和作业中有些微差别

测试了给出的四封邮件&＃xff0c;都正确分类&＃xff0c;下面是spamSample2的结果&＃xff0c;分类器把它分为垃圾邮件

本次作业没有给出知识点概括&＃xff0c;因为上次作业6.0已经大概描述清楚了SVM的原理和模型选择的一些内容&＃xff0c;这次作业其实主要是对练习怎么从文本中提取特征得到一个n维的特征向量&＃xff0c;再进行模型训练。
文本提取和处理也是很难啊~ 继续学吧&＃xff01;